{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1. 为什么bagging能改进模型性能  \n",
    "bagging 是Boosttrap 和 aggregating的组合。对原始数据又放回的采样，抽取的样本数同原始样本数目相同，对N个样本的数据集进行bootstrap采样，得到数据集D1，在D1上训练模型，重复M次，得到M个模型，再平均，可以降低模型方差。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.随机森林中随机体现在哪方面\n",
    "随机森林是用一种随机的方式建立的一个森林，森林是由很多棵决策树组成的，每棵树所分配的训练样本是随机的，树中每个节点的分裂属性集合也是随机选择确定的"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3.随机森林和GBDT的基学习器都是决策树，请问这两种模型中的决策树有什么不同\n",
    "随机森林的决策时是随机选取样本生成的。随机森林可以是分类树也可以是回归树。  \n",
    "GBDT建立的决策树的叶子节点数是固定的，当生成固定的节点后，就不再生成新的节点了。只能是回归树。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.lightGBM为什么比XGBoost快\n",
    "基于Histogram的决策树算法，EFB降低特征数，GOSS对样本进行下采样降低样本数，使训练时间大大减少。  \n",
    "带深度限制的Leaf-wise的叶子生长策略。  \n",
    "直方图做差加速，一个叶子的直方图可以又其父节点和兄弟节点做差得到。  \n",
    "直接支持类别特征。  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
